Supongamos un conjunto de datos  , con una cantidad de elementos  , Se pretende obtener una recta que se ajuste de la mejor manera a la dispersión de puntos que se obtendrían al representarlos en un plano cartesiano

Dado que se desea obtener un modelo lineal que mejor se ajuste, se buscan las diferencias entre las ordenadas de los puntos y la función de regresión calculada en la abscisa correspondiente, ésta también se conoce como la distancia vertical, luego elevamos al cuadrado cada una de estas diferencias.

Definimos el error total como la suma de los cuadrados de tales distancias, es decir:

Dado que la función lineal debe tener la forma      el error sería:

Necesitamos encontrar los valores de  y   que minimicen tal error, para ello utilizamos herramientas del cálculo diferencial, es decir vamos a calcular las derivadas parciales de la función de error respecto a y a  

Dado que debemos optimizar el error, entonces sus derivadas parciales deben igualarse a cero de la siguiente manera

Al dar solución al sistema de ecuaciones se obtiene para  y  :

Con el siguiente aplicativo puedes observar gráfica y dinámicamente lo que ocurre con el método de los mínimos cuadrados para 10 puntos cualesquiera.

Para regresiones  no lineales basta realizar un cambio de variables a fin de linealizar las ecuaciones resultantes, dado que los sistemas de ecuaciones no lineales que se obtienen, no son fáciles de resolver. A continuación algunos cambios de variables que se usan para modelos no lineales.